Modern Deep Learning (DL) models have grown to sizes requiring massive clusters of specialized, high-end nodes to train. Designing such clusters to maximize both performance and utilization to amortize their steep cost is a challenging task requiring careful balance of compute, memory, and network resources. Moreover, a plethora of each model's tuning knobs drastically affect the performance, with optimal values often depending on the underlying cluster's characteristics, which necessitates a complex cluster-workload co-design process. To facilitate the design space exploration of such massive DL training clusters, we introduce COMET a holistic cluster design methodology and workflow to jointly study the impact of parallelization strategies and key cluster resource provisioning on the performance of distributed DL training. We develop a step-by-step process to establish a reusable and flexible methodology, and demonstrate its application with a case study of training a Transformer-1T model on a cluster of variable compute, memory, and network resources. Our case study demonstrates COMET's utility in identifying promising architectural optimization directions and guiding system designers in configuring key model and cluster parameters.

从废物电气和电子设备（WEEE）中有效拆卸和回收材料是将全球供应链从碳密集型，采矿材料转移到可回收和可再生的材料的关键步骤。常规的回收过程依赖于切碎和分类废物流，但是对于由许多不同材料组成的Weee，我们探索了针对许多物体的靶向拆卸，以改善材料恢复。许多WEEE对象都共享许多关键特征，因此看起来非常相似，但是它们的材料组成和内部组件布局可能会有所不同，因此，对于随后的拆卸步骤，为准确的材料分离和恢复而具有准确的分类器至关重要。这项工作介绍了RGB-X（一种多模式图像分类方法），该方法利用了来自外部RGB图像的关键特征，并从X射线图像中生成的图像来准确地对电子对象进行分类。更具体地说，这项工作开发了迭代类激活映射（ICAM），这是一种新型的网络体系结构，明确地侧重于用于准确的电子对象分类所需的多模式特征映射中的细节。为了培训分类器，由于费用和需要专家指导，电子对象缺乏大型且注释良好的X射线数据集。为了克服这个问题，我们提出了一种新的方法，可以使用应用于X射线域的域随机化创建合成数据集。合并的RGB-X方法使我们在10代现代智能手机上的准确度为98.6％，其单独的精度为89.1％（RGB）和97.9％（X射线）。我们提供实验结果3来证实我们的结果。

与大多数认知研究一样，音乐认知是一个跨学科领域，它试图应用认知科学方法（神经系统，计算和实验性）来了解音乐的构成感和过程。在本文中，我们首先激励音乐为何与认知科学家相关，并概述音乐认知的计算建模方法。然后，我们回顾有关音乐知觉模型的文献，包括非计算模型，计算非认知模型和计算认知模型。最后，我们回顾了有关建模创意行为和能够创作音乐的计算机系统的文献。由于已经使用了音乐理论中的许多技术术语，因此我们在最后附上了相关术语及其定义的列表。

我们研究在对抗性腐败下学习通用线性模型的问题。我们分析了一种经典的启发式，称为迭代修剪的最大似然估计量，该估计量已知在实践中有效地抵抗标签腐败。在标签腐败下，我们证明了这个简单的估计器在各种广泛的线性模型上实现了最小风险，包括高斯回归，泊松回归和二项式回归。最后，我们将估计器扩展到标签和协变量腐败的更具挑战性的设置，并在该环境中证明其稳健性和最佳性。

由于在现实世界应用中广泛使用复杂的机器学习模型，解释模型预测变得至关重要。但是，这些模型通常是黑盒深神经网络，通过具有已知忠实限制的方法来解释事后。广义添加剂模型（GAM）是一种可解释的模型类别，通过分别学习每个功能的非线性形状函数来解决此限制，然后在顶部进行线性模型。但是，这些模型通常很难训练，需要许多参数，并且难以扩展。我们提出了一个全新的游戏亚家族，以利用形状函数的基础分解。在所有功能之间共享少数基础函数，并共同用于给定任务，因此使我们的模型比例更好地到具有高维功能的大规模数据，尤其是当功能稀疏时。我们提出了一种表示是神经基依据（NBM）的体系结构，该模型使用单个神经网络来学习这些基础。在各种表格和图像数据集上，我们证明，对于可解释的机器学习，NBMS是准确性，模型大小和吞吐量的最先进，并且可以轻松模拟所有高阶特征交互。源代码可在https://github.com/facebookresearch/nbm-pam上获得。

广义添加剂模型（GAM）迅速成为完全解释的机器学习的主要选择。但是，与不可解释的方法（例如DNNS）不同，它们缺乏表达能力和易于可扩展性，因此对于实际任务而言并不是可行的替代方法。我们提出了一个新的游戏类，该类别使用多项式的张量秩分解来学习功能强大的，{\ em完全解释}模型。我们的方法标题为“可扩展多项式添加剂模型（垃圾邮件”）是毫不舒服的可扩展性，并且模型{\ em all}的高阶特征交互没有组合参数爆炸。垃圾邮件的表现优于所有当前可解释的方法，并在一系列现实世界的基准测试中匹配DNN/XGBoost性能，并具有多达数十万个功能。我们通过人类主题评估证明，垃圾邮件在实践中明显更容易解释，因此是DNN毫不费力的替代者，用于创建适合大规模机器学习的可解释和高性能系统。源代码可在https://github.com/facebookresearch/nbm-pam上获得。

本文解决了现场机器人动态运动下动态在线估计和3轴磁力计的硬铁和软铁偏置的动态在线估计和补偿问题，利用了3轴磁力计和3轴角度的偏置测量速率传感器。所提出的磁力计和角速度偏差估计器（MAVBE）利用了对经受角速度偏移的磁力计信号的非线性处理动态的15状态过程模型，同时估计9个磁力计偏置参数和3个角速率传感器偏置参数，在扩展卡尔曼过滤器框架。偏置参数局部可操作性在数值评估。偏置补偿信号与3轴加速度计信号一起用于估计偏置补偿磁力大地测量标题。与Chesapeake Bay，MD，MD，MD，MD，MD，MD，MD，MD，MD的数值模拟，实验室实验和全规模场试验中，评估了所提出的MAVBE方法的性能。对于所提出的Mavbe，（i）仪器态度不需要估计偏差，结果表明（ii）偏差是本地可观察的，（iii）偏差估计迅速收敛到真正的偏置参数，（iv）仅适用于适度的仪器偏压估计收敛需要激发，并且（v）对磁力计硬铁和柔软铁偏差的补偿显着提高了动态前线估计精度。

域泛化涉及从异构地收集培训来源的分类器，以便它推广到从类似的未知目标域中汲取的数据，具有大规模学习和个性化推断的应用。在许多设置中，隐私问题禁止获取培训数据样本的域标签，而是只有汇总培训点集合。利用域标签来创建域不变特征表示的现有方法在此设置中不可应用，需要替代方法来学习概括的分类器。在本文中，我们提出了一个解决这个问题的域 - 自适应方法，它分为两个步骤：（a）我们在仔细选择的特征空间内培训数据来创建伪域，（b）使用这些伪域学习域 - 自适应分类器，该分类器使用有关它所属的输入和伪域的信息进行预测。我们的方法在各种域泛化基准测试中实现了最先进的性能，而无需使用域标签。此外，我们使用群集信息提供关于域泛化的新颖理论保障。我们的方法可以适用于基于集合的方法，即使在大型基准数据集上也可以提供大量的收益。代码可以在：https://github.com/xavierohan/adaclust_domainbed

合作匪徒问题越来越多地成为其在大规模决策中的应用。然而，对此问题的大多数研究专注于具有完美通信的环境，而在大多数现实世界分布式设置中，通信通常是随机网络，具有任意损坏和延迟。在本文中，我们在三个典型的真实沟通场景下研究了合作匪徒学习，即（a）通过随机时变网络的消息传递，（b）通过随机延迟的网络瞬时奖励共享（c ）通过对冲损坏的奖励来传递消息，包括拜占庭式沟通。对于每个环境中的每一个，我们提出了实现竞争性能的分散算法，以及在发生的群体后悔的近乎最佳保证。此外，在具有完美通信的环境中，我们提出了一种改进的延迟更新算法，其优于各种网络拓扑的现有最先进的算法。最后，我们在集团后悔呈现紧密的网络依赖性最低限度。我们所提出的算法很简单，以实现和获得竞争性的经验性能。

Colorsseum是一种开放式和公开可用的大型无线无线测试，可通过虚拟化和软载波形和协议堆栈进行实验研究，在完全可编程的“白盒子”平台上。通过256最先进的软件定义的无线电和巨大的通道仿真器核心，罗马斗兽场几乎可以模拟任何方案，在各种部署和渠道条件下，可以在规模上进行设计，开发和测试解决方案。通过有限脉冲响应滤波器通过高保真FPGA的仿真再现这些罗马孔射频场景。过滤器模拟所需的无线通道的抽头，并将它们应用于无线电节点生成的信号，忠实地模拟现实世界无线环境的条件。在本文中，我们将罗马斗兽场介绍为测试楼，这是第一次向研究界开放。我们描述了罗马斗兽场的建筑及其实验和仿真能力。然后，我们通过示例性用例证明了罗马斗兽场对实验研究的有效性，包括频谱共享和无人空中车辆场景的普遍用途用例，包括普遍的无线技术（例如，蜂窝和Wi-Fi）。斗兽索斗兽场未来更新的路线图总结了这篇论文。